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Abstract 


In order to capture facia! data, several pictures of a person are taken with a camera and checked for the presence of a 
face and the eye positions are determined. Features localised at grid points of a superposed grid, and determined by 
the positions of the eyes are extracted and summarised to form characteristics vectors. From the available sets of 
characteristics vectors, a set of reference characteristics vectors is calculated by averaging for each person. Using an 
optimisation process applied to a pre-existing data bank which assigns weightings to the reference characteristics 
vectors, the discriminance of the averaged characteristics is raised. The captured data are used as comparative data 
for the newly determined characteristics data of a single picture when determining or confirming a person's identity. 
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@ Verfahron zur Erfassung gesichtsbezogener Personendaten und deren Verwandung zur Identifizierung oder 
Veriflkation von Personon _^ 

^) Zwecks Erfassung der gasichtsbazogenen Oatan werden 
mahrera mit einar (Camera aufgenonnmene Bilder atnar 
Parson auf Vorliegen eines Gesiehts uberphjft und die 
Augenposrtionan bastimmt. Sodarni warden an dureh die 
Augenposrtionan begtimmtan Gittarpunktan einos ubarlager- 
ten Gittars dort lokalisierte Markmale axtrahiert und aus den 
verfugbaren Merlanalasatzen am Satz von Rafarenzmerkma- 
len je Person durch Mittelung barecnnet. Ourch einen 
Optimienjngsproze& gegenuber einar vorgegabenen Oatan- 
bank, dar dan Referenzmarkmalan ja nach Gittarpunkt 
untarschisdlicha Gewtchta zuordnat. wird dia Otskhminanz 
dar gamittalten Markmale arhoht. Zur Idanttfiziarxmg odar 
Verifikation atnar Person dienan dia erf aS ten Oaten als 
Vergleichedatan fur dia dann jawails neu armittaltan Merk- 
' nnalsdatan. 
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DE 196 

1 

Beschreibung 

Auf dem Gebiet der Sicherfaeitstechnik ist es ublich, 
Personen an Hand von personlichen Merkmalen zu 
identifizieren oder zu verifizieren, um ihnen. Zugang zu 
sacherheitsrelevantBQ Einrichtungen zu gewahren. 

Zu diesen personlichen Merkmaleit gehort auch das 
Gesicht, das zur Erfassung von gesichtsbezogenen Da- 
ten von einer Kamera aufgenommen wird. Die digitaJen 
Bilddatea werden dann auf besondere Merkmalc bin 
untersucht iind ein entsprechender Graph gebildet, der 
in einer Datenbank abgespeichert wird und damit zum 
Vergieicfa mit einera jeweils oeugebildcten Graphen zur 
Verfugung steht Stimmt ein von einer Person neu abge- 
leiteter Graph mit einem abgespeicherten Qberein, er- 
halt die Person dea gewunschten Zugang. 

Es ist bcreit s cine Reihe von Gesichtaerkennungssy- 
stemen bekannt» wobei die nachfolgende Numerierung 
sich auf das Literaturverzeichnis am Ende der Beschrei- 
bung bezieht 

Zul: 

Der hierin dargesteilte Ansatz verwendet zur Erken- 
nung von Gcsichtcm deren Darstellung in einem Raum 
von Eigenfaces. Diese Darstellung ist die sogenannte 
Karhunen-Lo6ve-Transformation (KLT). Sie ofordert 
eine grofie Menge von Trainingsmustem. Es seien diese 
fiir BUder der GroBe N x N als N^-dimensionale Vekto- 
ren x gegeben. Die Basisfunktionen der KLT erhalt man 
dann durch Losen des Hgoiwertproblems 

A - (D^KD 

wobei 2 die Kovarianzmatrix der Datenvefctoren. O die 
Eigenvektor- Matrix von 2 und A die Diagonalmatrix 
der Eigenwerte ist Man erhalt die neue Darstellung von 
xals 

j? = <l>Xr(ic-£), 

wobei X* den Mhtelwert ailer Fbezeicfanet <S>u ist eine 
Submatrix von <I», die die fflhrenden M Eigenvektoren, 
d. h. die Egcnvektoren zu den M groBten Egenwerten, 
entfaalt. In einer derartigen teilweisen KLT betragrtder 
Rekonstmktioasfehler fur ein bestmmtes MustK* xge- 
rade 



Diese GroBe wird ais "distance from feature space' 
bezeicfanet und zur Lokafisierung des Gesichts inner- 
haib ethes Bildes verwendet 

Solch ein Eigenface-basiertes System kann dnrch lo- 
Icale Variation getauscht werden. Weiterfain erfordert 
das System eine Nonnalisierungsstufe, die das Gesicht 
auf eine StandardgroBe bringt. Da das Verfahren auch 
zur effizienten Kodiening von Gesichtem fOr die Video- 
iibcrtragung verwendet wird, ist eine Erfassung mehre- 
rer Bilder eines Gesicfats mit nur einem Merkmaissatz 
prinzipiell nicht moglich. 

Es werden da her zwei Erweiterungen vorgeschlagen, 
die diese Defizite tcilweise beheben: 
Einerseits wird das Schema der Eigenfaces auf beliebige 
andcre Merkmale. wic z. B- Augen. Nase, Mund etc:, des 
Gesichts ausgedehnt Werden diese moduiaren Eigen- 
vektor- DarstcUungen mit den Eigenfaces kombmiert. 
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ergibt sich zwar eine bessere Erfceimungsleistung, je- 
doch wird der bei jeder abbrechenden Eigenvektorent- 
wickiung sich crgebcndc Nachtcil, namlich daB die er- 
neute Berechnung der Eigenvektoren erfonierlich wirdl 
5 sobaJd neue Gesichter hinzukommen, nicht auf gehoben. 
Andererseits wird versucht, mit Hiife muitipier Bcob- 
achter eine Erkennung zu realisieren, die von der Kopf- 
rotation der Person unabhangig ist In dem verwendeien 
fortnalen Rahmen bedeutet dies, daB fiir jeden dieser 

10 Bcobachter die Koeffizienten der Entwicklung in dem 
zugehorigen Vektorraum bekannt sein mussea Multiple 
Beobachter erfordera also multiple KLT und multiple 
Kodiemngen. Fih' eine zu erfassende Person sind daher 
melirere Datensatze zu speichem, was einen entspre- 

15 cfaenden Aufwand an Speicherkapazitat und Verarbei- 
tungszeit erfordert 
Zu2: 

Das hierin beschriefaene Verfahren zur Gesichtserken- 
nung basiert im wesentlichen auf der Verwendung eines 
'0 2-Kamera-Systcnis zur Segmentierung. Als Merkmals- 
detektoren werden Richtungsabieitungen der rweidi- 
mensionalen GauBfonkrion verwendet Der Startpunkt 
fur die Definition und Konstruktion der Merkmalsde- 
tektoren ist die bekannte GauBfunkdon 

73 
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Sie ist um x=0 mit einer Vaiianz lokalisiert Die 
einzelnea Detektoren sind Richtungsabieitungen von 
G(x)G{yX dem 2-dimensionaIen Analogon von G(x). 
Man bezeicimet sie ubiicherweise mit Gq^ wobei n die 

^ Ordnung der Ableinmg und 9ic=k3i/(n-M) mit k=Q,.., 
n Aire Richtung bezeichnet Es werden Ableitungen der 
Ordnung I bis 3 verwendet 

Das System arbeitet als Identifikationssystem und die 
Assozianonsleistung wird von einem sparlich besetzten 

'«> verteilten topographischen Speicher (SDM) erbracht 
Zwar werden zum Training des SDM mehrere BQder fur 
jede Person verwendet jcdoch ist die crfaBte Infonna- 
tion nicht nacfa Persoaen separierbar. Daher gifot es kei- 
ne kompakte DarsteUnng des Aussehens einer einzeU 

'*5 neu Person, wie es in einem Verifikationssystem erfor- 
deriichware. 
2u3: 

Das dargesteilte System kann mir Folgen von Videobil- 
dem bei der Erkenmmg verarbeiten. Weiterhin werden 

^ als die Gesichter unterscheidende Merkmale die Koeffi- 
zienten einer Entwicklmig der Oberfiache der Gesichter 
in 3-dimcnsionale Eigenkopfe verwendet Somit zeigt 
das Verfahren die von den Eigenfu;es bekannten Vor- 
undNachteile. 

» Zu4: 

Bei diesem System wird der Verglcich zwischen dem zu 
erkennecden B3d und dem gespeicherten Bild durch 
einen fleziblen Abbiklungsmechanismus realisiert Zum 
Vergieich werden durch unspezifischc Merkmalsdetek- 

M toren extrafaierte iokale Merkmalc des Gesichts ver- 
wendet Die Gitterpositionen, an denen die Merkmale 
extrahiert werden. sind nicht explizit festgeiegt sondem 
variabel. wobei die Gitterverzerrung in der Vergieichs- 
funktion enthaiten ist 

65 Die Positionierung der Gttterpunkte ergibt sich als 
Resuitat eines globalen Optimierungsprozesses mit der 
Kostenfunktion 
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E — Esan + ^Etop, 



wobei der erste Term die AJmlichfceit extrahierter 
MerkniabvekEoreQ Qets) an jeweils koirespondieren- 
den Gitterpositioiien und der zweite Term Etop die Git- 
terverzerrungskosten quantifiziert. Hier wird also ein 
bewegliches Gitter verwendcL 

Dieses Verfahrenhaidafaerfolgende Nachteile: 
Es funfctiomerT nicht bei komplexen Hintergriinderu da 
das Gitter mit den Merkmalsdetektoren nicht ausscfalieB- 
licfa das Gesicht uberdeckL Auch besteiit innerhaib des 
fo rmalen Rahmens keine Mo giichkeit, mehrere Bilder mit 
aur einem MerfcmaJssatz zu erfasseo. Weiteriiin kann 
wegen der VemachJassigung von Phaseninformation in 
der fConstruktionder Jets der Referenzdatensaiznichtzur 
Rekonstnifction des Gcsicfats verwcndct werden. 

Zu5: 

Das in der Patentschrift erwahnte Verfahren zm* Erfas- 
simg und Wiedererkennong von Gesicfatera basiert 
ebenso wie (1) auf dem Egenface-Ansatz nnd ist somit 
ebenso nicht zur Erfassung mehrerer Bilder einer Per- 
son in emem kompakten Code geeignet. Als "Merkmaie" 
gelten hier wie auch im modularen Ansatz von (1) tat- 
sachliche, fur den Menschen sichtfaare und kiar de&iier- 
te Teile des Gesichts, wie z. B. Augen oder Augenbrau- 
en. AuBerdem wird ein dualer Code verwendet der ei- 
ncrseits die absoiute Position cines Merkmais ("off set^ 
andererseits deren spezi&sches Aussehen ("reference 
vertex*) bcschreibt Um diese Merkmale zu finden, wer- 
den "inteiligente" Mustererkennungstedmiken (Stich- 
wort "snake") angewandt. 
Zu6: 

Das hier bescfariebene Verfahren erweitert den in (4) 
beschriebenen Ansatz um eine Gewichtimg der Gitter- 
positionea Diese Gewichtimg ist eindentig fur eine be- 
sdmmte Aufgabe und modifmert die bisherige Ahnlich* 
keitsfonkrion. Die Gewichie sind daher nicht Bestand- 
teil des Referenzdatensaaes fQr eine erfaBte Person. 
Weiterhin erfolgt kein*; Sperinkation der Qualitatsfunk- 
don Q zur Opiimienmg der Gewichtt Es ist ledigiich 
angegeben, daB die Datemnenge T. die do- Optimienmg 
zugrunde Begt, nur jeweils Paare von Bildem verscfaie- 
dener Personen enthalt Damit kann allenfafls ein kon- 
ventionelles Erkennmigsexperiment durchgefuhrt wer- 
den, und die Berucksichtigimg mehrerer Bilder bci der 
Erfassung ist ausgescfalosseiL 

Die Gitterpositionen seibst ergeben sich vergieichbar 
dem Verfahren nach (4) ais Resultat eines globalen Opti- 
mierungsprozesses, der das gesamte Gitter umfaBt Die 
Lage eincs einzelnen Gitterpunktes ist also oicht Resul- 
tat eines expliziten Detekdonsprozesses und somit an 
die Existenz eines lokalen Merkmais gefamiden, sondem 
ergibt sich aus dem kooperativen Verfaaken des beweg- 
fichen Gittcrs. 

Die Erfindung hat ein Verfahren zur Erfassung von 
gesichtsbezogenen Personendaten und deren Verwen- 
dung zur Identifizicrmig oder Vcrifikation in Zugangs- 
kontroilsystemen zum Gegenstand, das Merkmale der 
vorangehend genannten Systeme aufgreift und wesent- 
licfa erweitert, sowie eine schneile und robustc Erken- 
aung von menscfalichen Gesichtem aus Standbildeni un- 
ter naturlicher Beleuchtung ermogiicht 

Ein entsprechendes VCTfahren ergibt sich aus den 
Merkmalen des Anspniches 1. 

Danach werden die gesichtsbezogeiwn Datea nicht 
von einem einzigen Bild. sondem von einer Reihe von 
Bildem der zu erfassenden Person abgeleitet, und das zu 
aberlagemde Gitter orientiert sich mit seinen Gitter- 
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punkten an der Lage der Augen, die am einf achsten von 
den Gcsicfatsmerkmaien zu lokalisieren sind. 

Anhand der extrahienen Merkmale je Gitterpunkt 
^ werden dann ein reprasentativer Merfcmaissatz fiir alle 
Bilder sowie optiraienc Gewichte fur Jeden Gitterptmkt 
berechnet, am die Gleichfehlerrate mogiichst klein zu 
haiten. Das bedeutet im Einzelnen: 
FQr Jedes aufgenoramene Bild i werden dabei d be- 
stimmte Merkmalsdetekioren, z. B. solche wie in (2^ an 
jedem Gitterpunkt g und fur jede Aufldsungsstufe k 
einer festen Menge von Auflosungsstuien des Bildes 
angewandt, so daB sich d-dimezisionale Vekioren ^ 
ergeben. Ein Mcrkmal ist hier eine Komponeme eines 
^ solchen Veklors und daher im Gegensatz zu (5) die Ant- 
won eines mispezifischen Merkmalsdetektors. Damit 
sind die Merkmale im Gesicht nicht klar iokaiisiert, son- 
dem man konnte sie statt dessen als delokalisiert be- 
zeichnen. 

^ Imnachsten Schritt werden jeweils mehrere Veicto- 
ren 3^ ^ zu neuen Vefctoren zusammengefaBt, die im 
fclgenden als Merionalsvektoren bezeichnet werden. 
Hierbei gibt es verscfaiedene MdgBchfceiten: Beispieis- 
weise kann die Znsammenfassung fiir jeden Gitterpunkt 
^ uber mehrere Aufldsungsstufcn oder fiir jede Auflo- 
sungsstufe fiber mehrere Gitterpunfcte erfolgen; denk- 
bar ist auch enie Kombinarion dieser beiden Techniken. 
Die einfachste^MOgiichkeit ist, als MerfcmalsvefctOTen 
die Vektoren mit**^ sclbst zu verwcnden. 

In jedem Falle exsderen nach der Zusammenfasstmg 
Merkmalsvektoren m\ q=>U.^<, wobei Nq die Zahi 
der Merkmalsvektoren bezeichnet Vor der weitercn 
Verarbeitung sind die Merkmalsvektoren auf Lange 1 
zu normieren; im folgenden wird daher angencmmen, 
^ daB(n?i>2= Igilt 

In einem MittelungsprozeB werden diese Satze von 
Merkmalen aller aufgenommenen Bilder zn einem re- 
prasentativen Referenzmerfcmalssatz zusammengefafit 
Dieser rcprascntatrve Referenzmerkmalssatz Irann 
^ durch unterschiedliche Mittelungsschemata erzeugt 
werdeiL Betrachtet man namiich ni** als Satz normierter 
Merkmalsvektoren einer festen Person fur die unter- 
schiediicfaen Trainingsbiider i - 1. - . , N und fur ein fe- 
stes q, so erfaalt man (im Folgenden ist zur Vereinfa- 
^ cfaung der Notation der Index q weggelassen) einen re- 
prasentatxven Datensatz n =* liXm; durch die Minimie- 
rung emer Funktton V, die die Breite der Selbstahnlich- 
keit isj a 5 • Hi" aller Merkmalsvektoren quantifiziert, 
wobei die Normalisienmgsnebenbedingun^? =» 1 ein- 
^haiten werden muB. Im Fall V=Sfli • ni ergibt sich 
n « _Sini, wahrend sich fiir V=»2i(n- Oif die Koeffizien- 
ten X ais Eigenvekror der Matrix P=(pii) ergeben. der 
zimi groBten Eigenwert gehort Diese Art Eigeavefctor 
hat aber nichts mit einer iCLT zu tun. 
^ Altemativ kann derjenige Merkmalssatz unter den 
Merkmalssatzen der aufgenommenen Bilder als neuer 
reprasentativer Referenzmerkmalssatz bestimmt und 
verwendet werdea der den kleinsten Abstand z. B. den 
klein sten eukiidischen Abstand, zu dem nach einer der 
vorhergehend beschriebenen Meihoden ermittelt wur- 
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de. 

Die Gesamtahnlichkeit eines Referenzmerkmalssat- 
zes zu dem Merkmalssatz aus Bild i ergibt sich als ge- 
wichtete Summe der einzelnen Ahnlichkeiten 
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pjq » nil - n5 

zum jeweiligen Referenzmerkmalsvektor n^ in der 
Form 
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Die einzeinen Gewichte sind nicht negativ und ihre 
Summe betragt 1. 

Znsatziich konnen auch die einzeinen Merkmale ge- 
wichtet werdea Dazu wird jedem Referenzmericmais- 
vektor n<i erne Diagoaalmatrix zugeordnet, deren 



Diagonalelemcnte die Gewichte fur jede Komponente 
von n^ und damit fur jedes einzelne Merkmal darstellen. 
Die Gewiclitung erfolgt dann durch Multipiikation der 
Matrix mjt dem Referenzmerkmalsvcktor. Auch der ge- 
wichtete Referenzmericmalsvelctor mufi auf Lange I 
nonrdert sein, d. h. es muB (Cqn?)2=. 1 geUen. Die einzel- 
nen AimUchkeiten pi"* ergeben sich dann nach folgcnder 
Gleichung: 

W** - oT^ • Cqn5. 

Die Berechnung von personenabhangigen Gewich- 
ten, die ebenfalis TeU der spater abgespeicherten ge- 
^cfatsbezogenen Datcn sind, ist auf die spcziefle Aufga- 
be zugescimitten und benjcicsiditigt Infonnationen aus 
den aufgenommenen Bfldem und einer Hintergrundda- 
tenbank von Merfcmalssatzen, was im Folgenden be- 
sciuiebenwird. 

Das Hei jeden Verifikations- oder Identifiicationssy- 
stems ist, gleiclizeitig die Rate der falschen Zuriicicwei. 
aaigen (faise rejecdon rate, FRR, xf*') und die Rate der 
f^chen Akzeptienmgen (false acceptance rate, FAR, 
:C' 0 mdgliclist gering zu halten. In imserem System sind 
beides FunJcdonen der AkzeptanzschweUe X und defi- 
mertals 



Hierbei bezeichnen p; und Fj die jeweiUgen Mittelwer- 
te der GesamtahnJichkeiten Qber aile i bzw. j sowie 
Vartpi) und Vai<rj) die jeweiligen Varianzen. Alle drei 
10 genannten Zielfunfctionen ergeben sich bei gegefaenen p 
luid r als Funkticnen der Gewichte: ZusatzHch zu den 
G^wicfaten raii3 noch der oprimaie Scfawellwen be- 
stmimt werden: 

Bei den beiden erstgcnannten Zielfunktionen ergibt er 
sich bei der Optimierung der Gewichte, bei der dritten 
Zielftmknon kann er nach der Gewichtsoptimienmg 
z. B. als Ort der Gleichfehierrate gewahit werden. 

Optimierungsverfahren rait Bestinunung von Ge- 
wichten sind bekannt, Z.B. als stochastische Suche tm 
» Ramn der moglichen Gewichte, siehe z. a "Numerical 
Recepjs m C von Press et al, Cambridge University 
Press, ZAuflage 1993. 

Wciterbikiungen der Erfindung ergeben sich aus den 
Unteranspruchen,diesicfau.a.aufdieunter5diiedlichen 
^ Mogiichkeiten fur die Berechnung reprasentativer Re- 
ferenzmerkmalssatze und auf die zusatziiche Verwcn- 
dung der Nasenlage fur die Bestimmung der Ghter- 
punfctpositionen beziehen. 
Einzelheiten der Erfindung seien nacfafolgend an 

JJajavonrnderZeicfanungdargesteDtcnVerfahrensai^ 
lauf en naher erlauterL Im einzeinen zeigen 

zckS^"^ ^ FluBdiagramm ernes Bilderfassungspro- 

ng. IB das FTufldiagramm eines anschlieSenden Op- 
^ tumerungsprozessesund 

Rg. 2 das FluBdiagramm fOr eine Verifikation. 
In diesen FtuBdiagrammen sind die einzeinen Verfafa- 
raosscfantte fortlaufend numeriert und die nachfoigende 
•w ^^J^® entsprechend dieser Numcrienmg ge- 

Mit Bezug auf Fig. 1 A sind das folgcnde Vcrfahrens- 
schntte: 



init 9(x) als Heavisidescfie Stufenfimktion. Hier ist Ma ^ 
die Anzahl der untcrschiedlichen Bilder von Person A, 
die bei der Erfassung aufgenommen werden, wahrend 
Nb die Anzahl der Merfcmalssatze von BiUem andcrer 
Personen m der Hintergnmddatenbank islk^ bezeich- 
netdicAhnlichkeitdcsMerkniaIsvefctors5?desBUdes » 
I von Person A zum Referenzmerfcmalsvektor n**l und ri'' 
<len entsprechenden Wen fiir eine Person B 96 A. 

Das oben genannte Ziel kann durch Bestimmung sol- 
cher personenabhangigen Gewichte eireicht werden. 
me erne geeignete Zieifunktion optimieren. SinnvoUe 55 
Zielfunktionen sind beispielsweise die Summe der bei- 
den Fehlerraten (FAR und FRR) oder die Gleicfafehler- 
rate (equal error rate, EER), der Funktionswert also, fur 
dessen Argument FAR und FRR gleich sind. Eine ande- 
rc Zieifunktion gehtdirekt aus von der Menge der Ge- so 
saratahnlichkciten zwischen dem Referenzmerkmals- 
satz von Person A und den Bildem von A (pi= SqWqpii) 
sowie von der Menge der Gesamtahnlichkeiten zwi- 
schen diesem Referenzmerkmalssatz und den Merfc- 
rnalssatzen aus der Hintergnmddatenbank (rj== SoWon'*) 55 
und quantifiziert das AusmaB der Trcnnung dieser Men- 
gen: 



1- Innerhalb der durch das System vorgegebenen 
Zeit von 10 Sefcunden werden 8 Bilder aufgenom- 
mea Fur jedes zwcite Bild werden dabei sofort die 
Augen lokalisiert Bei den ubrigen Bfldem wird nur 
das Gesicfat lokalisiert 

2. Die extrahierten Augenpositionen dienen dann 
zur Bcurteilang, oh der ErfassungsprozeS erfolg- 
reich war- Ein ErfiassmigsprozeB ist erfolgreich, 
falls die Augen in mindestens 3 der 4 Bilder gefun- 
den wurden und gldcfazeitig die Varianz der extra- 
hierten Augenpositionen eine Schwelle uberschrei- 
-tet 

3. Sollte dies der Fail sein, ist die Erfassung beendet 

4. Im anderen Fafl werden alle Bilder gespcichcrt, 
auBer denjenigen, bei denen keine Augen lokaU- 
stert werden konnten. 

5. Wiederum werden 8 Bilder aufgenommen, von 
denen 4 der Augcnfindung unterworfen werden. 
Wie bei der crsten Gnippe von 8 Bfldem wird die 
Varianz der Augenpositionen berechnet 

6. Diese gilt zusammen mit der Anzahl der Bilder, 
bei denen der Augenfinder erfolgnsich war, als Kri- 
terium, ob die Erfassung erfolgreich war. 

7. Im positiven Fall ist die Erfassung beendeL 

8. SoUtc dies nicht der FaU sein, so werdea die Bil- 
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der mit lokafisierten Augcn gespcichert. 

9. siehe 5. 

10. siehe6. 

11. siehe 7. 

IZ Fails die in 2 erwahnten Bedingungeii nach kei- 
nem der drei Erfassungsschrittg eifQflt wurde, gilt 
die Erfassung als aicfat erfolgreicfa, und der Benui- 
zer wird entsprcchend informierL 

Bei erfolgreich abgeschiossener Erfassung der vorge- 
gebeaen Anzahl voa Bildem wird auf den Oprimie- 
rungsprozeB von Hg. IB iibergelertet: 



13. Bei den abgespeicherten Bildem, bei denen bis- 
her tceinerlei Verarbeitong durchgefOhrt wurde. 
wird nun versucht, das Gesicht imd dann die Augea 
zu lokaiisieren. Bilder, bei denen dieses nicht mog- 
licfa isx, werden verworfen, und es werden die Au- 
genposidonen zu den ubrigen Bildem abgespei- 

chCTL 

Bet alien danadi gultigen Bildem werden die Pod- 
don und die Skalienmg des Gesichts bezOglich der 
Augenposidonen nonnaiisiert, indem das jeweilige 
Bild roriert und skaliert wird. bis die Augen inner- 
haJb des Bildes auf einer horizontalen linie liegen 
and einen vorgegebenen Abstand aufweisen. FQr 
Bilder, bei denen die Augen gefunden wurden, wer- 
den auf verschiedenen Anflosungsstufen die Merk- 
malssatze besnmmt 

14. Auf jeder Aufidsungsstufe werden an jedem 
Gitterpunkt die Referenzmerkmale durcfa Mitte- 
lung uber die Merkniale der einzelnen Bilder be- 
stininit 

15. Zu Beginn des OpunrienmgspTOzesses werden 
die relativen Gewtchte der Gitterpunicte mit dem 
fCehrwert der Anzahl der Gitterpuniae initiafisiert. 
Der Zihier i fOrdie Optimierungsschritte wird auf 0 
gesetzt. 

16. Fur alle Aoflosungsstofen wird die E£R (equal 
error rate, Kreuzungspunkt der Kurven fur falsche 
Akzeptanz und falsche ZurQclcweisung) des Refe- 
renzmerkmalssatzes berechnet end unter E£R(i) 
abgespeicfaert. Die Datenbank fur diese Berech- 
aung besteht aus des Merkmalssatzen aller bei der 
Erfassung akzeptierten Bilder und einer Datenbank 
von Mcrkmalen fur andere Personea 

17. Wah] einer zufalligen FCombinationen von Ge- 
wicfaten fiir die Gitterpunkte. Der Schleifenzahier i 
wird um 1 erhCht 

ISL Sollte die maximaie Anzahl von Schleifcndurch- * 
laufen uberschritten sein, ist die Optimiening been- 
det und es wird mit Schrrtt 22 fortgesetzL 

19. Die neuen Merkmale mit geringster EER. sowie 
die SchweOen fur jede Aufidsungsstufe werden ge- 
speichert 

20. Fur die zufallige Wahl der Gewichte werden die 
EERs und die Schweflwerte auf alien Auflosungs- 
stufen berechneL Die jeweiligen Resultate werden 
als EER(i) abgespdcfaert. 

21. Fails die neuen Fchlerraten geringer sind ais die 
alten als beste gespeichertes, so wird mit Schhtt 19 
fortgesetzL im anderen Falle folgt Schritt 1 7. 

22. Nach Beentfigung der Optimierung werden die 
Gewichte der Gitterpunkte fur die nicdrigste EER 
gespeichert. Ebenfalls gespeicbert wird die Aufid- 
sungsstufe; auf der diese niedrigste Rate auftrat. 
sowie der zugefa5rige personena hha ngige Schwell- 
werL 



40 



45 



55 



60 



Das Verfahren fur die Verifikation einer Person um- 
faBt gemaB dem FluBdiagramm von Fig. 2 folgende 
Schrrtte: 

31. Die PIN (personal identification number, per- 
soniiche Idendfikationsnummer) der Person wird 
eingelesen. 

3Z Es wird kontroUiert, ob es sicfa um eine gultige 
Benutzemummer handelL 

33. Falls die Nummer dem System nicht bekannt ist, 
wird die Person zuiuckgewiesen. 

34. Es wird kontrolliert, ob die eingegefaenen Num- 
mer zu einer autorisierten Person gehorL 

35. Soilte das niciit der Fall sein, wird die Person 
abgewiesen. 

36. Die Kamera nimmt ein Bild der Person auf, das 
uber einen Framegrabber an den Computer weiter- 
gegeben wird. 

37. In aufgenommeuen Bfld wird versucht. ein Ge- 
sicht zu lokalisieren. 

38. E>ie Ausgabe der G«sicfatslokalisienmg wird be- 
wertet. 

39. Wenn kein Gesicht gefunden wurde, wird die 
Person abgewiesen. 

4a Der Augennnder versucht innerhalb des Bildes 
Augen zn finden. 

41. Die Ausgabe der Augenfindung wird bewertcL 
4Z FaOs keine Augen gefunden wurden, wird die 
Person abgewiesen. 

43l Die Position und die Skalienmg des Gesicbts 
werden beziiglich der Augenposidonen normali- 
siert Nach der Nonnalisierung liegen die Augen 
innerfaalb des Bildes auf einer horizontalen Linie 
und faaben einen festen, vorgegebenen Abstand. 
Dazu wird das Bild rotiert und skaliert. 

44. Die MeHcmaie werden auf der Auflosungsstufe 
extrahiert, die fOr die entsprechende Person wah- 
rend der Erfassung als optimal ennittelt wurd& 

45. Zwischen dem Satz der Referenzmerkmale und 
den aus dem aktueilen Bild extrahierten Merkma- 
len wird die Aimlichkeit berechnet. Dabei werden 
die als optimal bestimmten Gewichte der Gitter- 
punkte berflcksicfaiigt. 

4€. Die ermitxelte AhnUchkeit wird mit der perso- 
nenspezifischen SchweQe vergllchen. 

47. Falls die Ahnfichkeit tmierfaalb der erforderii- 
chcn Schweile liegt wird die Person zuriickgewie- 
sen. 

48. Fails die Ahniichkeit uber der Schweile liegt 
wird die Person akzcptiert 

Analoges gilt lur die Identifiziening des Gesicfats ei- 
ner unbekannten Person mit Bezug darauf, ob die Per- 
son in der Datenbank fur crfaBte Personen enthaiten ist 
oder nicht 
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PatentansprGche 

1. Verfahren zur Erfassung gesichtsbezogener Per- I5 
sonendaten, gekeimzeidmet dnrch folgende Ver- 
raiirensschrittc: 

— Aufnahme mehrerer Bikier von der zn er- 
fassenden Person, 

— Lokalisieren des Gesichtes in den aufee- 20 
aommenea Bildem. 

— Lokalisieren der Augen im lokalisierten Ge- 
sicfat. 

— Nonnalisieren des Gesichts durch Rotieren 
undSfcalierendesjeweiIigenBikies.bisdieAu- 25 
gen mnerhalb des Bildes auf einer horizontaicn 
Lmie mit vorgegebenem Abstand Eegcn, 

— Ertraktion von Merkmalen durch Merk- 
maJsdetektoren mit Bezug auf Gitterpunkte 
ernes Gitters, wobei die Positionen der Gitter- 3o 
punkte durcfa die Uge der Augen bestinmrt 
smd. mit Zusammenfassung der MerkmaJe zu 
einem Merkmalssatz fur das jeweilige Bild. 

— Berechnung eines repraseatativcn Rcfe- 
roizmerkmalssatzes, der die Merfanalssatze 25 
aUer aufgenommenen BOder auf kompakte 
Weise zusammenfaBt, 

— Optimierung von personenabhangjgen G«- 
wichten fur jeden Referenzmerkmalssatz 
zwecfcs Optimierung einer Ziclfimfction, die ei- 

Gewichte sowie der Ahn- 
Iichkeitswerte zwischen dem Referenzmerk- 
malssatz und denjenigen Merkmalssatzen dar- 
stellt, die aus den aufgenommenen Bildem der- 
selben Person und den BUdem anderer Pereo- 
nen aus einer Hintergrunddatenbank gcwon- 
nen wurden. mit Bestimmung einer optimalen 
Akzeptanzschweile, 

— Abspeichenmg der so ermittelten gesiciits- 
bezogenen Daten der erfaflten Person. 

Z Verfahren nacfa Auspruch I, dadutt± gekenn- 
^icfanet, daB die Berechnung eines reprascntativen 
Rfifcrenzmerfcmaissatzes mittels Durchschnittsbil- 
dong und Normalisierung mit Bezog auf alle Bikier 
der zu erfassenden Person erfolgt 

3. Verfahren nach Auspruch 1. dadurch gekenn- 
zeicfanet. dafl die Berechnung eines reorasentariven 
Referenzmerkmalssatzes mittels Ableitung des Ei- 
genvektors zum graBten Eigenwcrt der Ahnlich- 
keitsmatrix erfolgt 

4. Verfahren nacfa einem der Anspriiche 1 bis 3, 
dadurch gekennzeichnet dafi die Positionen der 
Gitterpunkte zusatzlich durch die Uge der Nase 
bestmimt werden. 

5. Verfahren nacfa einem der Anspruchc 1 bis 4 
gekennzeichnet durch die Verwendung der snaB- 
ten und abgespeichcnen gesichtsbezogenen Perso- 
nendaten znr Personenidentifizienmg. indem je- 
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weils neu erfaBte Merfcmalsdaten mit den gespei- 
cfaerten Rfiferenzdaten verglichen werden. 
6. Verfahren nacii einem der Ansprilcfae 1 bis 4 
gekcnnzeichnet durcfa die Verwendung der erfaB- 
ten und abgespeicherten gesichtsbezogenen Perso- 
nendaten zur Personenverifizierung, indem jeweils 
neu erfaBte Merkmalsdaten mit den durch cine zu- 
satzUche personiiche Kennung ausgezeichneten 
gespeicherten Referenzdaten verglichen werden. 

Hierzu 3 Seite(n) Zeicfanungen 
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